A recent study has shown a phenomenon called neural collapse in that the within-class means of features and the classifier weight vectors converge to the vertices of a simplex equiangular tight frame at the terminal phase of training for classification. In this paper, we explore the corresponding structures of the last-layer feature centers and classifiers in semantic segmentation. Based on our empirical and theoretical analysis, we point out that semantic segmentation naturally brings contextual correlation and imbalanced distribution among classes, which breaks the equiangular and maximally separated structure of neural collapse for both feature centers and classifiers. However, such a symmetric structure is beneficial to discrimination for the minor classes. To preserve these advantages, we introduce a regularizer on feature centers to encourage the network to learn features closer to the appealing structure in imbalanced semantic segmentation. Experimental results show that our method can bring significant improvements on both 2D and 3D semantic segmentation benchmarks. Moreover, our method ranks 1st and sets a new record (+6.8% mIoU) on the ScanNet200 test leaderboard. Code will be available at https://github.com/dvlab-research/Imbalanced-Learning.

Extremely large-scale massive MIMO (XL-MIMO) has been reviewed as a promising technology for future wireless communications. The deployment of XL-MIMO, especially at high-frequency bands, leads to users being located in the near-field region instead of the conventional far-field. This letter proposes efficient model-based deep learning algorithms for estimating the near-field wireless channel of XL-MIMO communications. In particular, we first formulate the XL-MIMO near-field channel estimation task as a compressed sensing problem using the spatial gridding-based sparsifying dictionary, and then solve the resulting problem by applying the Learning Iterative Shrinkage and Thresholding Algorithm (LISTA). Due to the near-field characteristic, the spatial gridding-based sparsifying dictionary may result in low channel estimation accuracy and a heavy computational burden. To address this issue, we further propose a new sparsifying dictionary learning-LISTA (SDL-LISTA) algorithm that formulates the sparsifying dictionary as a neural network layer and embeds it into LISTA neural network. The numerical results show that our proposed algorithms outperform non-learning benchmark schemes, and SDL-LISTA achieves better performance than LISTA with ten times atoms reduction.

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

在本文中，我们制定了一种简单而有效的筛选策略，以提高涉及noncovex $ \ ell_ {q，p} $正则化的结构化优化方面的计算效率。基于迭代重新加权的$ \ ell_1 $（irl1）框架，所提出的筛选规则就像一个预处理模块一样工作，该模块可能在启动子问题求解器之前可能会删除不活动的组，从而减少总计计算时间。这主要是通过在每次迭代过程中启发双重子问题信息来实现的。此外，我们证明我们的筛选规则可以消除IRL1方法有限数量的迭代中的所有不活动变量。数值实验说明了与几种最新算法相比，我们的筛选规则策略的效率。

图形学习模型是研究人员探索图形结构数据的关键工具。为了训练功能强大的图形学习模型，常规方法使用足够的训练数据来训练单个设备上的图形模型。但是，由于隐私问题，在实际情况下这样做是令人难以置信的。联合学习提供了一种可行的解决方案，可以通过引入各种隐私性机制（例如图形边缘的差异隐私）来解决此类限制。然而，联合图学习中的差异隐私可确保图表中维护的分类信息。它降低了图形学习模型的性能。在本文中，我们研究了如何在图形边缘实施差异隐私，并观察实验中的性能下降。我们还注意到，图形边缘的差异隐私引入了扰动图邻近性的噪音，这是图形对比度学习中的图形增强。受到的启发，我们建议利用图形对比学习的优势，以减轻差异隐私引起的性能下降。广泛的实验是通过几种代表性的图形模型和广泛使用的数据集进行的，表明对比度学习确实减轻了由差异隐私引起的模型的性能下降。

组成零射击学习（CZSL）旨在识别训练过程中从可见状态和物体形成的看不见的构图。由于与不同对象纠缠的视觉外观中相同的状态可能是不同的，因此CZSL仍然是一项艰巨的任务。某些方法使用两个训练有素的分类器识别状态和对象，忽略了对象与状态之间的相互作用的影响；其他方法试图学习状态对象组成的联合表示，从而导致可见和看不见的组成集之间的域间隙。在本文中，我们提出了一种新颖的暹罗对比度嵌入网络（场景）（代码：https：//github.com/xduxyli/scen-master），以实现看不见的构图识别。考虑到状态与物体之间的纠缠，我们将视觉特征嵌入了暹罗对比度空间中，以分别捕获它们的原型，从而减轻了状态与物体之间的相互作用。此外，我们设计了一个状态过渡模块（STM），以增加训练组成的多样性，从而提高识别模型的鲁棒性。广泛的实验表明，我们的方法在三个具有挑战性的基准数据集（包括最近提出的C-QGA数据集）上的最先进方法大大优于最先进的方法。

自数据注释（尤其是对于大型数据集）以来，使用嘈杂的标签学习引起了很大的研究兴趣，这可能不可避免地不可避免。最近的方法通过将培训样本分为清洁和嘈杂的集合来求助于半监督的学习问题。然而，这种范式在重标签噪声下容易出现重大变性，因为干净样品的数量太小，无法进行常规方法。在本文中，我们介绍了一个新颖的框架，称为LC-Booster，以在极端噪音下明确处理学习。 LC-Booster的核心思想是将标签校正纳入样品选择中，以便可以通过可靠的标签校正来培训更纯化的样品，从而减轻确认偏差。实验表明，LC-Booster在几个嘈杂标签的基准测试中提高了最先进的结果，包括CIFAR-10，CIFAR-100，CLASTINGING 1M和WEBVISION。值得注意的是，在极端的90 \％噪声比下，LC-Booster在CIFAR-10和CIFAR-100上获得了92.9 \％和48.4 \％的精度，超过了最终方法，较大的边距就超过了最终方法。

3D从单眼RGB图像中的人类姿势和形状恢复是一个具有挑战性的任务。基于现有的基于学习的方法高度依赖于弱监管信号，例如， 2D和3D联合位置，由于缺乏野外配对的3D监督。然而，考虑到这些弱监管标签中存在的2D-3D模糊，网络在用此类标签培训时容易在本地最佳状态下卡。在本文中，我们通过优化多个初始化来减少势措施。具体而言，我们提出了一个名为多初始化优化网络（MION）的三级框架。在第一阶段，我们策略性地选择与输入样本的2D关键点兼容的不同粗略的3D重建候选。每个粗略重建可以被视为初始化导致一个优化分支。在第二阶段，我们设计网格精制变压器（MRT）以分别通过自我关注机制来优化每个粗略重建结果。最后，提出了一种一致性估计网络（CEN）来通过评估RGB图像中的视觉证据与给定的3D重建匹配，以通过评估来查找来自候选的最佳结果。实验表明，我们的多初始化优化网络优于多个公共基准上的现有3D网格的方法。

用于深度卷积神经网络的视频插值的现有方法，因此遭受其内在限制，例如内部局限性核心权重和受限制的接收领域。为了解决这些问题，我们提出了一种基于变换器的视频插值框架，允许内容感知聚合权重，并考虑具有自我关注操作的远程依赖性。为避免全球自我关注的高计算成本，我们将当地注意的概念引入视频插值并将其扩展到空间域。此外，我们提出了一个节省时间的分离策略，以节省内存使用，这也提高了性能。此外，我们开发了一种多尺度帧合成方案，以充分实现变压器的潜力。广泛的实验证明了所提出的模型对最先进的方法来说，定量和定性地在各种基准数据集上进行定量和定性。

AI安全社区的一个主要目标是为现实世界应用安全可靠地生产和部署深入学习模型。为此，近年来，在生产阶段（或培训阶段）和相应的防御中，基于数据中毒基于深度神经网络（DNN）的后门攻击以及相应的防御。具有讽刺意味的是，部署阶段的后门攻击，这些攻击通常可以在不专业用户的设备中发生，因此可以说是在现实世界的情景中威胁要威胁，得以更少的关注社区。我们将这种警惕的不平衡归因于现有部署阶段后门攻击算法的弱实用性以及现实世界攻击示范的不足。为了填补空白，在这项工作中，我们研究了对DNN的部署阶段后门攻击的现实威胁。我们基于普通使用的部署阶段攻击范式 - 对抗对抗权重攻击的研究，主体选择性地修改模型权重，以将后台嵌入到部署的DNN中。为了实现现实的实用性，我们提出了第一款灰度盒和物理可实现的重量攻击算法，即替换注射，即子网替换攻击（SRA），只需要受害者模型的架构信息，并且可以支持现实世界中的物理触发器。进行了广泛的实验模拟和系统级真实的世界攻击示范。我们的结果不仅提出了所提出的攻击算法的有效性和实用性，还揭示了一种新型计算机病毒的实际风险，这些计算机病毒可能会广泛传播和悄悄地将后门注入用户设备中的DNN模型。通过我们的研究，我们要求更多地关注DNN在部署阶段的脆弱性。